Некои ВИ-модели, познати како големи јазични модели (LLM), успеале да решат едноставни судоку задачи. Сепак, дури и најдобрите меѓу нив даваа нејасни, неточни или апсурдни објаснувања за тоа како дошле до решението. За експериментот, тимот креирал околу 2300 судоку загатки во поедноставен формат 6×6. Тестирани беа неколку ВИ-модели, вклучувајќи го ChatGPT-o1-preview, кој тогаш беше еден од најнапредните системи.
Но, вистинскиот проблем се појавил во следниот чекор: кога ВИ-моделите требало да го објаснат патот до решението.
„Понекогаш ВИ објаснувањата измислуваа факти“, вели Ашутош Триведи, коавтор на студијата и доцент по информатика на CU Болдер. Или не ги препознавале очигледните објаснувања: „Одговорот, на пример, беше: “Овде не може да стои двојка, бидејќи во истиот ред веќе има двојка”, но тоа не беше така.“
Во еден особено впечатлив пример, ВИ од непознати причини одговорила со прогноза за времето, пренесува Deutche Welle.
„Во тој момент, ВИ целосно полуде и беше збунета“, додава коавторот на студијата, Фабио Соменци.
Можеме да кажеме: најважно е што резултатот е точен. Но за истражувачите, тоа е премногу едноставен заклучок.
„За одредени видови судоку, повеќето LLM-и сè уште се недоволни, особено кога станува збор за создавање објаснувања кои на било кој начин се корисни за луѓето“, вели Марија Пачеко, коавторка на студијата и доцентка на катедрата за информатика. „Зошто дошол до тоа решение? Кои чекори треба да се преземат за да се стигне до него?“
Резултатите тимот ги презентирал на стручната конференција ACL 2025, а трудот е објавен и во списанието Findings of the Association for Computational Linguistics.
Целта на студијата не била да ја дискредитира ВИ, туку да открие како големите јазични модели (LLM) всушност „размислуваат“. Судокуто служело како тест, „микрокосмос за машинско одлучување“, како што го нарекува Соменци, професор на Факултетот за електротехника, компјутерство и енергетика.
„Ако дозволите на вештачката интелигенција да подготви ваша даночна пријава, ќе сакате да можете да објасните на даночната администрација зошто ВИ го напишала тоа што напишала.“
Главното откритие од експериментот е дека LLM-овите претежно не го решаваат судокуто преку систематско размислување базирано на правила, туку преку статистичка анализа.
Тоа е резултат и на нивниот начин на функционирање: за време на развојот на ChatGPT, на пример, програмерите најпрво ја „хранеле“ ВИ со речиси сè што некогаш било напишано на интернет: блогови, социјални мрежи, научни бази на податоци или информативни портали.
Статистички гледано, Пачеко, Соменци и нивниот тим се надеваат дека ќе развијат сопствен ВИ-систем кој ќе може да решава сложени загатки. За тоа започнуваат со друг вид загатка наречена Hitori, која, слично на судоку, содржи мрежа од броеви.
Притоа се потпираат и на нов пристап – т.н. неуросимболичка ВИ, која сè уште е во рана фаза на развој. Целта е да се комбинира меморијата на LLM со способноста на човечкиот мозок за логичко размислување.
„Луѓето зборуваат за растечките способности на вештачката интелигенција која може да решава задачи кои не би ги очекувале“, вели Пачеко. „Во исто време, не е изненадувачки што тие сè уште се лоши во многу задачи.“
Извор: web-mind.rs
